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Оценивание тестовых заданий разных типов 
и определение их уровня сложности 


В статье описывается технология оценивания тестовых заданий, а также распределение заданий разных 
типов по уровням сложности на основе результатов предварительного тестирования. При распределении 
тестовых заданий по уровням сложности предлагается использовать интегрированную функциональную 
модель, позволяющую применять разные способы распределения тестовых заданий, включенных в 
тест, в зависимости от их типов. 


Введение 


Контроль знаний является важной частью процесса обучения и позволяет полу- 
чить всестороннюю оценку уровня знаний обучаемых. Одной из хорошо зарекомендо- 
вавших себя повсеместно форм контроля знаний является тестирование. Тестирование, 
несмотря на множество определенных недостатков, является в принципе единственным 
по-настоящему технологическим средством для измерения уровня знаний и незаменимо 
как инструмент, позволяющий реализовать эффективный педагогический контроль и 
должным образом организовать управление учебным процессом. 

Одним из сложных и противоречивых вопросов при проведении тестирования 
является проблема оценивания знаний. Самым распространенным способом решения 
данной проблемы является использование дихотомической системы оценивания тес- 
товых заданий, в которой за каждое задание можно получить 0 или 1 балл. Данная 
система удобна при оценивании заданий с выбором одного правильного ответа из 
многих, т.е. заданий закрытого типа. В то же время существует определенное много- 
образие типов тестовых заданий: закрытые (многоальтернативные и одноальтернатив- 
ные), открытые, на установление соответствия между элементами, на установление 
правильной последовательности, ситуационные тестовые задания [1]. Для оценивания 
заданий разных типов применение дихотомической системы недостаточно, т.к. обу- 
чаемый может дать неполный или частично правильный ответ, что в предложенной 
системе недостаточно точно оценивается как неправильный ответ. Для эффективного 
решения данной проблемы необходимо использовать политомическую систему оце- 
нивания, в которой допускается несколько категорий ответа на задание, каждая из 
которых оценивается по-разному. Например, за полностью верный ответ назначается 
2 балла, за частично верный - 1 балл и за неверный - 0 баллов. Недостатком этой сис- 
темы является сложность вычисления общего результата на основе баллов, получен- 
ных за задания. Кроме того, в этом случае не учитываются неправильно выбранные 
варианты ответа. Простое суммирование баллов не соответствует истинному уровню 
знаний обучаемых. Для решения данной проблемы авторами предлагается введение 
непрерывной системы оценивания знаний на интервале от 0 до | и специализированные 
технологии определения оценок за выполнение каждого из типов тестовых заданий [2]. 
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Предварительные исследования в области построения системы контроля зна- 
ний показали необходимость разделения заданий на уровни сложности. Отсутствие 
разделения заданий на уровни сложности приводит к недостаточной объективности 
оценивания знаний и часто не коррелируется с истинным уровнем знаний обучаемых [3]. 
Так, если сильному студенту попадаются только сложные задания, а слабому — только 
легкие, то в результате оценивания у обоих студентов будет одинаковый уровень зна- 
ний, что не соответствует действительности. И наоборот, если студентам с одинаковым 
уровнем знаний попадутся задания разного уровня сложности, то проверка знаний 
выявит у них разный уровень подготовленности, что не является объективным. Рас- 
пределение заданий по уровням сложности преподавателем вносит субъективизм в 
процесс оценивания знаний обучаемых по причине того, что не всякое легкое задание 
для преподавателя является столь же легким и для студентов. Таким образом, разра- 
ботка технологии распределения тестовых заданий по уровням сложности является 
актуальной. 

Целью работы является разработка технологии проведения тестирования и рас- 
пределения тестовых заданий по уровням сложности для тестов, оцениваемых по не- 
прерывной системе оценивания знаний, частным случаем которой является дихотоми- 
ческая система. Для этого авторами предложена методика оценивания тестовых заданий 
разных форм. Для распределения тестовых заданий по уровням сложности авторами 
разработана функциональная интегрированная модель современной теории тестов, ко- 
торая по результатам проведения предварительного контроля знаний определяет способ 
вычисления уровня сложности тестовых заданий и, после приведения результирующих 
уровней сложности к единой шкале, выдает устойчивые значения уровней сложности 
заданий, включенных в тест. 


1. Технология оценивания тестовых заданий 
разных типов 


Для создания теста необходимо включать в него задания разных типов. Авторами 
предлагается при построении теста использовать следующие типы тестовых заданий: 
закрытого типа (многоальтернативные и одноальтернативные), на установление соот- 
ветствия, на установление последовательности, открытого типа (введение термина, 
заполнение таблиц, введение арифметического выражения), ситуационных (авторами 
предлагается здесь ввести понятие многошагового теста). Для объективной оценки 
тестовых заданий разных типов предлагается использовать для каждого из них свой 
специализированный подход для расчета оценки. Введем для определения оценки от- 
ветов на задания разных типов коэффициент оценивания 7. 


1.1. Одноальтернативные тестовые задания 


Для оценивания одноальтернативного тестового задания достаточно применения 
дихотомической системы оценивания, где 7, = 1 соответствует правильному ответу, 


7, = 0 — неправильному. 


1.2. Многоальтернативные тестовые задания 


При оценивании многоальтернативных заданий дихотомической системы недо- 
статочно, потому что обучаемый может дать как неполный ответ, так и один из выб- 
ранных вариантов ответа будет неточен. В данном случае необходимо учитывать не 
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только правильность ответа на задание в целом, но и количество допущенных оши- 
бок. В данном случае коэффициент г. предлагается рассчитывать по формуле (1). 


Е, (1) 
(©, +0,) 
где О; - множество всех правильных вариантов ответа в задании, 
О> - количество правильных вариантов ответа, выбранных обучаемым, 
Оз- количество неправильных вариантов ответа обучаемого. 


1.3. Задания на установление соответствия 


При ответе на задание на установление соответствия каждую пару ответов можно 
рассматривать как отдельный вариант ответа и при определении результата следует 
учитывать, сколько пар было выбрано верно. Коэффициент и; для этого типа заданий 
рассчитывается по формуле (2). 


О, 
==“, (2) 
О, 
где О! - количество пар для сопоставления, 
О>- количество верно составленных пар. 


1.4. Задания на установление последовательности 


При оценивании заданий на установление правильной последовательности возмо- 
жен только один заведомо правильных ответ. Для оценивания данного типа тестовых 


заданий достаточно использовать дихотомическую шкалу оценивания, коэффициент и 


принимает значение 0 или 1. 


1.5. Открытые тестовые задания 


При оценивании заданий на введение термина и на введение арифметического 
выражения достаточно использовать дихотомическую шкалу оценивания, коэффициент 


’, принимает значение 0 или 1. При выполнении заданий на заполнение таблиц каждая 


ячейка таблицы является отдельным вариантом ответа. Если одна из ячеек заполнена 
неправильно, такой ответ нельзя засчитывать как полностью неправильный (введение 
одного неверного значения в ячейку может быть механической ошибкой, и поэтому 
оно должно не полностью обнулить результат выполнения работы, а лишь снизить 
результат выполнения задания). Для определения коэффициента оценивания заданий 
на заполнение таблиц рекомендуется использовать показательную функциональную 


зависимость: 
О., 


к = 2% 1, (3) 
где О! — количество ячеек, которые предлагается заполнить обучаемому, 
О> - количество ячеек, которое обучаемый заполнил правильно. 


1.6. Многошаговые тестовые задания 


Многошаговые тестовые задания состоят из набора заданий (набора шагов), ре- 
шаемых последовательно, когда переход к следующему шагу задания осуществляется 
только после правильного ответа на предыдущий шаг. Это дает возможность обучае- 
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мому анализировать не только задание в целом, но и разбираться в каждой состав- 
ляющей задания. Благодаря этому обучаемый сразу может увидеть, где им допущена 
ошибка и в дальнейших шагах получить правильные исходные данные, т.е. ошибки в 
заданиях не будут накапливаться. Многошаговое задание считается пройденным, если 
на каждом его шаге получен правильный ответ. Для объективного оценивания ответа 
и глубины знаний обучаемого используется счетчик допускаемых ошибок, количест- 
во которых учитывается при выставлении оценки. Кроме того, необходимо решить 
проблему оценивания таких вопросов. Рекомендуемая формула для вычисления коэф- 
фициента правильности для многошагового тестового задания имеет вид : 

— | 

2. т; +1 


=, (4) 


п 


где 1 — номер шага, 
т; — количество ошибок, допущенных на 1-м шаге, 
п — количество шагов. 

Формула (4) справедлива для многошаговых тестовых заданий, в которых на 
каждом шаге используются одноальтернативные задания или задания на установ- 
ление правильной последовательности. В случае использования на каком-либо из 
шагов тестового задания на соответствие или многоальтернативного тестового зада- 
ния целесообразно использовать формулы (5) и (6) соответственно. 


р 5 


где ] - номер попытки прохождения шага, если на нем была допущена ошибка, 
О, - количество пар для составления на 1-м шаге при /-й попытке; 


9 


О, - количество верно составленных пар на 1-м шаге при /-й попытке. 


15 т, (6) 
"=> 


"©, +0, ) 


где О, - количество правильных вариантов ответов на 1-м на шаге при / попытке; 
о, 


О, -— количество правильных ответов, выбранных тестируемым на 1-м шаге; 


О, - количество неправильных ответов, выбранных тестируемым на 1-м шаге при 


и 


-й попытке. 


2. Технология определения результата выполнения теста 


В каждой стране для оценивания уровня знаний обучаемых применяется своя, а 
иногда и несколько шкал оценивания знаний. Так, в Украине применяются 4 различ- 
ных шкалы оценивания знаний: 100-балльная (рейтинговая), ЕСТ$, 12-балльная и нацио- 
нальная (4-балльная) шкала. Для получения результата в заданной шкале оценивания 
знаний введем специальный параметр В — балльность системы в виде максимального 
значения единицы измерения оценки в рассматриваемой шкале. Рассмотрим алгоритм 
перевода результата тестирования в произвольную шкалу оценивания знаний. Для кор- 
ректного перевода результата в любую систему оценивания знаний необходимо всем 
значимым результатам оценивания в порядке возрастания поочередно присвоить коэф- 
фициенты балльности, начиная с 1. Максимальное значение коэффициента балльности 
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и будет соответствовать значению параметра В. Для некоторых систем оценивания зна- 
ний целесообразно применение интервальной системы перевода результата, в которой в 
зависимости от процента выполнения работы выставляется оценка. 

При оценивании теста, содержащего несколько уровней сложности, каждому из 


заданий присваивается уровень сложности 2: (2, =1,7 ). Итоговая оценка выполнения 


всего теста А, состоящего из набора тестовых заданий, содержащего 7, уровней слож- 
ности, определяется по формуле: 


В М 
&=— хо ВЖЕ (7) 
Я = 


где В — балльность системы, 
М№- количество тестовых заданий, включенных в тест, 
2, — уровень сложности 1-го задания, 


Д — суммарная сложность теста. 


Параметр 7 является накопительным и определяется по формуле: 


2=У.2.. (8) 


3. Технология распределения тестовых заданий 
разных типов по уровням сложности 


Для распределения тестовых заданий по уровням сложности авторами предла- 
гается модификация современной теории тестирования ВТ. Модификация [ВТ зак- 
лючается в следующем: 

— в классическом случае ВТ предлагается для вычисления уровня знаний обучае- 
мых. Авторами предлагается применение 1ВТ для определения уровней сложности 
тестовых заданий; 

— модели ВТ рассматриваются для случая применения только дихотомической си- 
стемы оценивания тестовых заданий. Авторами предлагается использование данных 
моделей для непрерывной системы оценивания знаний, частным случаем которой яв- 
ляется дихотомическая; 

— предлагается рассматривать одно-, двух- и трехпараметрические модели не в от- 
дельности, а в совокупности, в зависимости от типа тестовых заданий. 

Задача распределения тестовых заданий по уровням сложности сводится к опре- 
делению сложности тестовых заданий с использованием модифицированной современной 
теории тестирования ВТ, исходя из экспериментальных данных предварительного 
тестирования. 

Недостатком современной теории тестирования 1ВТ является наличие трех мо- 
делей, каждая из которых в отдельности применима для тестовых заданий определенного 
типа. При попытке применения модели к разным типам тестовых заданий уменьша- 
ется точность вычисления параметров. 

Для определения уровня сложности тестовых заданий авторами предлагается ин- 
тегрированная функциональная модель (рис. 1), рассчитанная на оценивание тестовых 
заданий по непрерывной шкале оценивания знаний, включающей тестовые задания 
разных типов: 


в, = ХР (И„,ге5, ‚Р, (Иа „тез, В, (Иьа „с „тез, )), (9) 
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где р, — параметр, определяющий сложность ]-го тестового задания, 

В (И„,ге5, ),Р, (И„„а „тез, В, (И»а „с „тез, ) — модифицированные одно-, двух- и трех- 
параметрические модели, построенные по непрерывной системе, 

©, — параметр, определяющий уровень знаний 1-го обучаемого, 

тез — переменная, которая соответствует результату выполнения тестового зада- 
ния и принимающая значения на интервале от 0 до 1, что соответствует непрерывной 
шкале оценивания знаний, 

а;— параметр характеристики дифференцирующей способности задания, 

с; — параметр, характеризующий возможность правильного ответа на /-е задание 
в том случае, если этот ответ угадан. 

Достоинством и новизной интегрированной функциональной модели является 
ее возможность одновременно анализировать тестовые задания всех рассматриваемых 
выше типов. Технология использования интегрированной функциональной модели за- 
ключается в следующем. Тестовое задание 7’, которое подается на вход модели, сначала 
поступает на блок анализатора типа заданий. Затем, в зависимости от выделенного 
анализатором типа, задание подается на соответствующий блок определителя резуль- 
тата выполнения тестового задания, где рассчитываются оценки за ответы ге5,, а для 
тестовых заданий закрытого типа дополнительно вычисляется вероятность угадыва- 
ния правильного ответа с. 


Интегратор моделей 


т Определитель Вычислитель 
АИ резупьтета устойчивых той 
выполнения теста с у К 
и значений Е 
+ Закрытого тиа  |-- Ты т АЗ 
с 
АА НЕЕ, о, ге 
А |9 1-параметрическая | В Л У 
Т, Л т, Н гез; в > м Р 
> --ч+ На установление + ыТ одель (Р') ил 
из соответствия 
И [ге РЬ 
ЗА т , 
АД Г! Наустановлени || "С | ВФ] | 2-параметрическая | В | ОТ В 
в последовательности И [а > модель (Р?) ТГ ТА А 
т 
он Опрытого типа НЫ ь ге м 
РИ А [В > З-параметрическая № |ио 
И Гы модель (Рз) С Е 
Й Е’+ Ситуационного ры С ь Е ы 
ОВ СВЕТ. 


Рисунок 1 — Интегрированная функциональная модель распределения тестовых 
заданий по уровням сложности 


В блоке «Статистика» проводится сбор статистических данных по результатам 
тестирования знаний обучаемых. После проведения предварительного тестирования 


группы обучаемых в блоке вычисляется начальный уровень их знаний И, начальный 
уровень сложности тестовых заданий В и рассчитывается дифференцирующая способ- 


ность тестовых заданий [4]: 
р; (",/, 
ие РЕ = А а =, (10) 
Ч; Ч 7 1 == (} 7, ) 
где р; - доля правильных ответов, полученных от 1-го студента, 
4:— доля неправильных ответов, полученных от 1-го студента, 
р,- доля правильных ответов, полученных за выполнение /-го задания, 
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4;— доля неправильных ответов, полученных за выполнение /-го задания, 
7, — бисериальный коэффициент корреляции. 

Далее данные передаются в блок «Вычислитель устойчивых значений», где 
производится распределение заданий по уровням сложности на основе латентного 
анализа. После поступления данных в блок «Вычислитель устойчивых значений» про- 
изводится распределение ответов на тестовые задания и начальных значений пара- 
метров для уровней сложности по трем компонентам (Ри. Р2.Рз) в зависимости от 
типа задания. 

Первый компонент Р/ «1-параметрическая модель» применяется для проверки приз- 
нака гомогенности уровня сложности тестовых заданий относительно гомогенной 
группы испытуемых. Группа испытуемых является гомогенной, если большинство зна- 
чений © расположено на небольшом интервале оси латентной переменной р. Гомогенный 
тест представляет собой систему заданий возрастающей трудности, специфической 
формы и определенного содержания, создаваемую с целью применения объективного, 
качественного и эффективного метода оценки структуры и измерения уровня подго- 
товленности обучаемых по одной учебной дисциплине. В случае гетерогенной по зна- 
ниям выборки испытуемых значения параметра трудности должны охватывать больший 
интервал оси ©, а характеристические кривые заданий могут быть расположены до- 
вольно далеко друг от друга. Проверка этого условия и реализована в компоненте Р/ 
«1-параметрическая модель». 

Для повышения точности измерения уровня сложности тестовых заданий вводит- 
ся параметр характеристики дифференцирующей способности задания а, который 
связан с крутизной кривой задания в точке ее перегиба. При значениях а, близких к 
нулю, тестовые задания утрачивают функцию разделения обучаемых по уровням слож- 
ности, что делает их бесполезными при дифференциации по уровню сложности. Число 
заданий в тесте должно сокращаться в первую очередь за счет удаления таких зада- 
ний, что приводит к повышению надежности и валидности теста. Таким образом, для 
определения уровня сложности р; тестовых заданий разных типов, за исключением 
закрытого, служит компонент Р› «2-параметрическая модель». 

Для тестов с заданиями закрытого типа отмечается существенное отклонение 
эмпирических данных от теоретической кривой, предсказывающей вероятность пра- 
вильного выполнения задания при различных значениях переменной ©. Для решения 
этой проблемы вводится параметр с, который характеризует возможность правиль- 
ного ответа на задание ] в случае, если ответ угадан. Оценки ге5; за задания закрытого 
типа передаются в третий компонент Рз «З-параметрическая модель» блока «Вычис- 
литель устойчивых значений». 

Для определения устойчивых значений уровней сложности тестовых заданий при- 
меняется метод наибольшего правдоподобия Фишера [5], адаптированный к оценива- 
нию знаний обучаемых по непрерывной системе: 

__ п 7е5.. 1-те5., 
г(х|И.}= ПР. 90. У, (11) 
РР И Й 


где Ё — вероятностная модель выполнения тестовых заданий для 1-ГО обучаемого; 


а Хун ; — вектор, характеризующий результат выполнения 1-м обучае- 


мым п заданий теста, 
Ру - вероятность правильного выполнения 1-м испытуемым /-го задания теста, 
О;- вероятность неправильного выполнения 1-м испытуемым /-го задания, Оу = 1—Р. 
Таким образом, выходными параметрами интегрированной функциональной мо- 
дели является набор параметров Д, которые соответствуют устойчивым оценкам уров- 
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ня сложности тестовых заданий и могут использоваться в тестах, включающих задания 
нескольких уровней сложности как параметр сложности заданий. 


Выводы 


Предлагаемая технология реализована программно. Данная технология программно 
реализована и содержит 2 основных подсистемы: 

— модуль проведения контроля знаний, который поддерживает Международный стан- 
дарт обмена тестовой информацией [6], сертифицирован [7] и проходит внедрение в 
высших учебных заведениях Украины; 

— модуль распределения тестовых заданий по уровням сложности, который может 
применяться как при работе с авторским программным комплексом проведения кон- 
троля знаний, так и с данными, полученными из внешних систем автоматизированного 
тестирования. Это делает разработанную систему универсальной. 

Соответствующая программная система прошла апробацию на достоверной вы- 
борке (более 100 обучаемых). 

Внедрение предлагаемой системы в высших учебных заведениях позволит про- 
водить объективное тестирование знаний обучаемых. Применима как в учебных заве- 
дениях любого уровня аккредитации, так и в организациях и учреждениях, где проводит- 
ся профессиональный отбор с помощью тестирования, а также на курсах повышения 
квалификации, где имеются компьютерные классы. 
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М.Ф. Бондаренко, В.В. Семенець, Н.В. Бллоус, Г.В. Куцевич, Г.А. Бллоус 

Ощнювання тестових завдань рйзних тишв та визначення 1х р!вня складност! 

У статт! розглядаеться техноломя ошнювання тестових завдань, а також розподлення завдань р!1зних тишв 
за равнями складност! на основ! результалв попереднього тестування. При розподленн! тестових завдань 
за рвнями складност! запропоновано використовувати 1нтегровану функщюнальну модель, яка дозволяе 
використовувати р1зноманйтн! способи розподлення тестових завдань, як! було включено до тесту, 
залежно в1д 1х тишв. 
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